Heart Beat Session (Nagoya)

https://gyazo.com/8706a6e673578a765e97fce03000331a

https://youtu.be/P2q8jls4rP0

https://gyazo.com/3c1f1c5be3f85bbff430db480557af46

☈薬膳Bar Sakae

☈2024.11.16 20:00-29:00

☈映像(VJ) / 照明制御（心拍センサー）

code:consepts

心臓と空間の共鳴をコンセプトに、名古屋・栄のアンダーグラウンドなバーで夜を通して空間と混ざりあう

(多感覚の根源的な)「感覚」と(生の力能である)「リズム」の生成的セッション(ジル・ドゥルーズ,『感覚の論理学』)

☈ TL;DR ☈

〰心拍センサーを用いた映像・照明の空間制御

Touch Designer + 心拍センサー + Arduino

☈ 概要

心拍センサーを用いてリアルタイムで心拍音を空間のBeatに響かせる、心臓の空間音楽パーティ

プレイヤーと空間のフィードパックループを通して＜他者としての心臓＞を生成する

具体的には、DJや演奏者、パフォーマー、観客の心拍数をリアルタイムに計測し、それをBPMとして空間に響き渡らせる

それに応じて映像が同期し、照明が同期する

それを基に、各プレイヤーが自分の心臓音を外部のリズムとして受け取って、各々のプレイを行う

例えば、DJは自らの心臓音にノってかける音楽も変わっていき、あるいはかける音楽によって心拍数が変わっていき

この双方向的な即興性が展開される

☈ 仕組み

https://gyazo.com/250ccdbbe4457d7075ce95c177554978

基本的な仕組みは前回行ったImage Oscillation +Heart Beatと同じく、

COOSPO HW807 心拍計アームバンドを使用する

（Touch Designerとの連携については上記の前回のイベントページを参照）

〰映像について

センサーで読み取ったBPMから、用意した連番画像(.png)をタイミングよくループさせているというシンプルなシステム

https://scrapbox.io/files/674b2d544ea59a4eb709e441.mp4

システムの参考にしたのは、uisato氏のプロジェクト Audio Reactive Playhead をベースにして、素材もいくつか流用している。

これにVJの制御をしやすくしたり（ＵＩの作成など）、表示させる各パラメータの調整、映像素材の選定・収集、後述する照明制御との連携、そして音との同期を行っているだけである

Touch Designerのチューニングが不得手なため、パフォーマンスの不安があったために、

<映像 + 照明>

<音>

でプロジェクトファイルを分け、同時起動させ、それらのプロジェクト間でOSC通信を介して連携させるようにした

Touch Designerがシングルスレッドっぽい（？）ので、VJでの操作で映像を切り替える時に音声が一瞬固まったりすることがあったため、複雑になってしまうがこういう形にとりあえず落ち着かせた

これは当日けっこう役立って、映像が落ちても音は流れ続けるのでほかのライブパフォーマンスには影響することなくイベントを継続することができた

これに加えて

イベントに＜VR心臓＞で参戦していた日聖さんの協力で、

心拍センサーの値をWebAppで収計し、表示する仕組みを実装してもらった　（これをWebRenderTOPで表示する）

https://gyazo.com/8f9351b02b2f558cb863e8dfd401fe9d

今回は複数台の心拍センサーを用いたために、誰の心拍センサーを今つかっているのか、誰の心臓音が鳴っているのかというのが明示化されるので、イベント参加者の心臓のノリ感を上げるためには意外と重要なところだった

と同時に、現場の反省点としては

Bluetooth（心拍センサー）が途切れたり、あるいはサーバの処理が追い付かず（？）通信がとまったりしてWebAppの更新がとまってしまうことだった

この手の処理はもしかすると、Touch Designerローカルでやってしまうのがいいのだろうか

ただ、映像をイベント中9時間も稼働させていたら、予想通り（？）映像が固まるみたいなことが3~4時間に1回くらい起きてしまって、ローカルのパフォーマンスチューニングもうまく考えないとまずい

〰照明について

Touch Designer（ソフトウェア）で照明機材（ハードウェア）を制御するのは個人的にはじめての試みであり、門外漢であったので、たどたどしく試行錯誤しながら準備していった

まず照明機材

電球型LED (40W)

https://gyazo.com/020a427f126c7c03f428bdee47b590ca

電球を使おうと考えたが、長時間の使用は発熱が怖いし、複数個使うと考えたとき、LEDのほうが扱いやすいと思って電球型LEDを選択した

＋現場の雰囲気に合わせるために、カラーフィルムをかぶせている

https://gyazo.com/30c39dd02cae5153ae382cfaf9774a22

この照明の心拍に合わせてのON / OFFの制御は

SSR (ソリッド・ステート・リレー）をもちいた

これは電気的にAC機器のON / OFFを切り替えられる代物で、

ようするにTouch Designer + Arduino で制御ができるということがわかったのでこれを採用した

電子工作おなじみ秋月電子で

ソリッド・ステート・リレー(SSR)キット 25A(20A)タイプ

を切り替えるLED数分購入して、くっつけた

https://gyazo.com/676cea96515dde76fd93224989dd88bd

正直、これくらいならコンパクトにまとまったモジュールがAmazonでも売っているので、わざわざ自作しようとするよりもそちらのほうが楽だしスマートだと思う

実は保険でモジュールも買っていた…

何も知らず自作で組み立ててみて、ちょっと不安だったので調べたらモジュールを見つけた

これを用いて

Arduinoの5Vデジタルピン出力をつなげれば、5V(DC)で100V(AC)機器が制御できるというわけだ

https://gyazo.com/c0d56d4cbed648e7c2c10addc1e73f2f

ACの配線材はオヤイデ電気で25m分のVVFケーブルを買った（安かったものを…）

安い単芯のものを買ったので、設営はやりづらかった

お金に余裕があれば複数の芯をもつ撚線のものを買いたい

Touch Designer + Arduinoの連携については

Firmataという便利なプロトコルがあるので、それを大いに活用させてもらった

/yamazakilab/【山崎研Tips】TouchDesigner + Arduino によるモノのオーディオリアクティブ入門

セットアップ以外に何もしてないので、もはや特に解説することなし

☈Members

アンビエント心臓♪(.__.)

DJ：@ryotahirayama @ofmyowndemons @sawamura_momo @sento_kun_ and more…

Live：@ktyu_7 @onokoro75 and more…

VJ：@nagasena__

ライブ彫刻：@sento_kun_

VR心臓：@tsubasa_hijiri

心臓メイク：@nanae_makeup

BPMアゲ⤴フード：@orenozinseisubetenikansya

主催　@one____two____three____